Cao Vân vốn là người Triều Tiên, dòng dõi quý tộc nước Cao Câu Ly[1]. Giữa thế kỷ 4, nhà Tiền Yên của tộc Tiên Ti (một trong Thập lục quốc) tấn công kinh đô Cao Câu Ly ở núi Hoàn Đô. Quân Tiền Yên bắt một số thành viên vương tộc Cao Câu Ly đem về nước. Tổ tiên Cao Vân trong số những người bị bắt và đưa lên Thanh Sơn (青山[2]). Dòng họ nhà Cao Vân trở thành người nước Tiền Yên.

Thời Cao Vân có nhiều biến động ở trung nguyên: các tộc Ngũ Hồ tranh giành quyền cai trị miền bắc Trung Quốc trong khi nhà Đông Tấn đã rút về Giang Nam. Nước Tiền Yên mất, dòng họ Mộ Dung không lâu sau lại tái lập Hậu Yên. Thời Hậu Yên Huệ Mẫn Đế Mộ Dung Bảo, Cao Vân trở thành một võ quan của nước Hậu Yên.